Ông được tập ấm lúc còn nhỏ và được triều đình Huế bổ nhiệm vào làm trong Bộ binh năm 1910. Được ít lâu ông về làm rể Thượng thư Nguyễn Hữu Bài.

Năm 1930 ông thăng chức tổng đốc Nam Ngãi. Con trai của ông là Ngô Đình Huân thì làm thư ký và thông ngôn cho Yokoyama Masayuki, Viện trưởng Viện Văn hóa Nhật Bản tại Sài Gòn, sau đó làm Thanh tra Lao động. Vì ý hướng thân Nhật, Ngô Đình Khôi bị ép về hưu năm 1943 sau khi Chiến tranh thế giới thứ hai xảy ra.[1]